La base de données d'images glanées sur le net LAION-5B est de nouveau disponible en ligne. Elle avait été retirée suite au signalement de contenus pédocriminels. L'association qui en est responsable promet de les avoir supprimés, sans pour autant évoquer d'autres problèmes comme le droit à l'image ou le Copyright.
Mise à jour du 4 septembre 8 h : une première version de cet article affirmait qu'il y avait 65 millions de photos pédocriminelles dans la version originale de LAION-5B. Mais la largeur du filtre ne nous permet pas de le prétendre.
LAION-5B, le jeu d’images d’entraînement gratuit le plus gros du monde créé par le professeur de lycée allemand Christoph Schuhmann, est de nouveau en ligne, annonce un communiqué, après un retrait en catastrophe en décembre dernier. LAION, l'association qui gère la base de données, avait décidé de la rendre inaccessible en ligne suite au signalement de chercheurs de Stanford qui y avaient identifié 3 226 liens vers des images pédocriminelles potentielles.
Dans son communiqué, elle affirmait qu'elle appliquait « une politique de tolérance zéro à l'égard des contenus illégaux et, dans un souci de prudence, [retirait] temporairement les jeux de données de LAION pour [s’assurer] qu'ils sont sûrs avant de les republier ».
Deux versions, l'une expurgée des contenus NSFW
Huit mois après, l'association publie donc de nouveau LAION-5B expurgée, promet-elle, de tout lien vers des contenus pédocriminels. De fait, elle met en ligne deux nouvelles versions de la base de données.
Dans la première, appelée « Re-LAION-5B-research », l'association a enlevé les contenus pédocriminels identifiés et a ajouté un filtre qui doit assurer qu'aucun autre contenu de ce type n’est répertorié. Ce filtre s'appuie sur les associations de mots clés qui accompagnent le plus souvent les images pédocriminelles signalées.
Dans la seconde, « Re-LAION-5B research-safe », LAION a aussi supprimé « la majorité » des liens vers des images « NSFW ».
Les deux versions sont accessibles sur Hugging Face seulement après s'être identifié sur la plateforme.
65 millions d'images supprimées dans la version originale de LAION-5B
LAION explique que les deux filtres utilisés pour obtenir Re-LAION-5B-research ont conduit à la suppression de 1,12 % de la base d'origine de LAION-5B. Ce qui signifierait que 65 millions d'images sur les cinq milliards ont été supprimées. Le second filtre appliqué est assez large pour s'assurer qu'aucune image pédocriminelle ne soit intégrée, il bloque aussi certaines images qui ne le sont pas.
Pour la version « safe », expurgée donc des contenus NSFW, l'association a supprimé 3,04 % de sa base de données, soit 176 millions d'images enlevées.
Pour ce grand nettoyage, l'association explique avoir passé des partenariats avec l'Internet Watch Foundation (IWF), le Centre canadien de la protection de l'enfance (CCPE) et l'Observatoire d'Internet de Stanford.
Elle explique avoir utilisé les listes de hachages de liens et d'images fournies par ses partenaires datant de juillet dernier. Pour rappel, LAION-5B ne comporte pas les images en elles-mêmes, mais une liste d'URL auxquelles les internautes peuvent les retrouver en leur ajoutant des étiquettes.
Suppression des images signalées par Human Right Watch
LAION explique aussi avoir en outre supprimé « d'autres données relatives à la vie privée qui ne contenaient pas de contenu illégal ». Les photos, signalées par la chercheuse de Human Right Watch, Hye Jung Han, étaient celles d'enfants brésiliens et australiens dont, selon la chercheuse, le consentement n'avait pas été obtenu. Sur les 399 signalées par l'ONG, LAION affirme que toutes ne contenaient pas des données sensibles mais, « par prudence », elle les a retirées de sa base de données.
Une réaction lente aux alertes
LAION fait donc un premier ménage dans sa base de données. Mais celui-ci arrive tard. Déjà en octobre 2021, les chercheurs Abeba Birhane, Vinay Uday Prabhu et Emmanuel Kahembwe signalaient (avant la hype de l'IA générative) qu'ils avaient repéré dans la version LAION-400M des « liens entre images et textes gênants et explicites de viol, de pornographie, de stéréotypes malveillants, d'insultes racistes et ethniques, ainsi que d'autres contenus extrêmement problématiques ».
Dans son communiqué, l'association regrette de ne pas avoir été directement informée par l'Observatoire de l'Internet de Stanford de la publication de son rapport et d'avoir découvert ce dernier par voie de presse : « Cela a créé une situation regrettable pour la sécurité, car nous n'avons pu réagir qu'avec un retard considérable, bien que les problèmes aient été connus de l'Observatoire de l'Internet de Stanford plusieurs semaines, voire plusieurs mois auparavant ». Elle demande que ce genre de signalement lui soit adressé directement.
Interrogé par ArsTechnica, l'auteur du rapport, David Thiel, assure que LAION était au courant de l'existence de contenu illégal dans sa base de données, car un signalement aurait été fait peu après sa sortie, en 2022.
Commentaires (11)
#1
Voilà, c'était l'information inutile du jour ^^
#1.1
D'ailleurs, je pense que ça répond à la question du copyright.
#2
Quelle stupidité !
Edit : le lien vers l'article du blog de LAION qui détaille leur procédé. On se plaint souvent de la transparence des données utilisées dans l'IA générative. Là, on a un acteur qui semble l'être, faut le mettre en avant ;)
Historique des modifications :
Posté le 03/09/2024 à 09h29
Quelle stupidité !
#2.1
#2.2
#3
Si ces contenus sont correctement étiquetés, je me demande s'il ne faudrait pas les laisser, d'autant plus, que les images elles-mêmes ne sont pas dans la base de données mais que seul un lien vers elles y figurent.
Je sais que ma question va faire réagir, mais elle est sérieuse.
Ce qu'il faut punir, ce n'est pas ce genre d'information brute mais les systèmes qui génèrent des contenus illégaux.
#3.1
Après, rien n'empêche un modèle d'être entraîné par un dataset public expurgé de ce type, puis fine-tuned avec un dataset privé prévu à cet effet. J'imagine que les autorités sont aujourd'hui déjà dans la nécessité de manipuler ces contenus illégaux, donc la matière première existe pour produire ce genre de modèle.
C'est un peu le fonctionnement de Stable Diffusion où le modèle de base, proposé par StabilityAI, est étendu ou spécialisé par de nombreuses personnes à différentes fins. Typiquement, les modèles créés pour générer du contenu NSFW le sont à partir du base model et entraînés sur des contenus pornographiques disponibles en ligne.
Historique des modifications :
Posté le 03/09/2024 à 10h22
LAION fourni des dataset ouverts pour la recherche, je pense que leur nature même fait qu'ils ne peuvent fournir ce genre de contenu (ce serait mettre à dispo publiquement de la pédopornographie, je pense que ça les mettrai en risque du point de vue juridique).
Après, rien n'empêche un modèle d'être entraîné par un dataset public expurgé de ce type, puis fine-tuned avec un dataset privé prévu à cet effet. J'imagine que les autorités sont aujourd'hui déjà dans la nécessité de manipuler ces contenus illégaux, donc la matière première existe pour produire ce genre de modèle.
C'est un peu le fonctionnement de Stable Diffusion où le modèle de base, proposé par StabilityAI, est étendu ou spécialisé par de nombreuses personnes à différentes fins.
Posté le 03/09/2024 à 10h23
LAION fourni des dataset ouverts pour la recherche, je pense que leur nature même fait qu'ils ne peuvent fournir ce genre de contenu (ce serait mettre à dispo publiquement de la pédopornographie, je pense que ça les mettrai en risque du point de vue juridique).
Après, rien n'empêche un modèle d'être entraîné par un dataset public expurgé de ce type, puis fine-tuned avec un dataset privé prévu à cet effet. J'imagine que les autorités sont aujourd'hui déjà dans la nécessité de manipuler ces contenus illégaux, donc la matière première existe pour produire ce genre de modèle.
C'est un peu le fonctionnement de Stable Diffusion où le modèle de base, proposé par StabilityAI, est étendu ou spécialisé par de nombreuses personnes à différentes fins. Typiquement, les modèles créés pour générer du contenu NSFW le sont à partir du base model et entraînés sur des contenus pornographiques disponibles en ligne.
#3.2
Sur le second point, je pensais aussi à tous les systèmes d'IA génératifs grand public à qui on pourrait ainsi apprendre le contenu à ne pas générer. Pour cela, il faut que ces infos soient disponibles.
Sinon, oui, des base de données de contenus pédo existent, c'est même grâce à elles que ce contenu a été détecté ici. certains de ceux qui gèrent ce genre de base sont cités dans l'article (IWF et CCPE).
#3.3
Ça dépasse un peu mes capacités cognitives dans le domaine, mais je crains que le résultat ne soit pas très bon si on parvient, par je ne sais quelle magie, à produire un base model entraîné sur du contenu pédoporno mais avec en builtin des directives lui disant "t'as pas le droit d'en générer", puis qu'il soit utilisé pour créer un modèle dérivé qui outrepasserait ces blocages. Est-ce que les directives contradictoires vont le faire sombrer dans la névrose comme HAL-9000 ? Vu que ce sont des modèles statistiques avec des poids, j'aurais tendance à dire que c'est celui qui gueulera le plus fort qui aura raison, et donc j'ai un doute de l'efficacité d'un blocage "intégré".
Mais, à nouveau, ça va au-delà de mes capacités dans le domaine. Je me suis arrêté au CE1 niveau maths.
Là où des modèles maîtrisés (car produits et exploités par la même entité) comme le sont DALL-E, Midjourney, etc., - eux aussi capables de générer du contenu problématique - seraient plus faciles à borner pour bloquer les usages répréhensibles.
#4
Si je comprends bien, il s'agit d'images accessibles librement sur Internet : j'ose espérer qu'ils ont prévenu les autorités sur ces 65 millions d'image en libre accès ? :o
#4.1